Ngày 13 tháng 5 năm 2010, Giáo hoàng Biển Đức XVI chấp nhận đơn xin từ nhiệm của Giám mục chính tòa Giáo phận Vinh của Giám mục Cao Đình Thuyên[4] và chức vụ Tổng giám mục Tổng giáo phận Hà Nội Giuse Ngô Quang Kiệt, ngoài ra, giáo hoàng đồng thời quyết định bổ nhiệm linh mục Phaolô Nguyễn Thái Hợp, hiện là Giám đốc học vụ tỉnh dòng Đa Minh, chủ nhiệm câu lạc bộ Phaolô Nguyễn Văn Bình làm tân Giám mục chính tòa kế vị giám mục Thuyên về hưu.[4] Ngày 23 tháng 7 cùng năm, ông là Giám mục chủ phong cho Giám mục Hợp – người kế vị mình.[3]

Ngày 7 tháng 12 năm 2015, giáo phận Vinh tổ chức lễ mừng thọ 90 tuổi cho giám mục Cao Đình Thuyên và kỉ niệm 55 năm linh mục cho ông.[7]

Tháng 7 năm 2016, giám mục Cao Đình Thuyên bị ngã và được đưa đi cấp cứu tại Bệnh viện 115, sau đó được chuyển ra Bệnh viện Việt Đức, Hà Nội điều trị.[8]

Ngày 16 tháng 11 năm 2017, giáo phận Vinh đã tổ chức lễ kỉ niệm 25 năm giám mục cho ông tại nhà thờ chính tòa Xã Đoài. Đồng tế lễ có giám mục Nguyễn Thái Hợp và Giám mục phụ tá Phêrô Nguyễn Văn Viên và đông đảo linh mục và giáo dân.[6]